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Структурная адаптация алгоритмов сжатия 
данных на метаалгоритмической основе 


Предложен модифицированный метод структурной адаптации алгоритмов на метаалгоритмической 
основе. Особенность метода заключается в том, что в процессе адаптации одновременно синтезируется 
два взаимообратные алгоритма. Методика апробирована на алгоритмах архивации и разархивации данных. 
Решена задача эффективной архивации распознанных линий скоростемерных лент локомотивов. Выполнена 
оценка функциональной эффективности структурно-адаптированного алгоритма сжатия данных. 


Введение 


Несмотря на то, что адаптации алгоритмов уделяется достаточно большое внима- 
ние [1], [2], структурная адаптация из-за сложности реализации изучена достаточно слабо. 

Данную работу можно рассматривать как развитие работ [3], [4], в которых 
предложены достаточно универсальные методы и средства структурной адаптации 
алгоритмов. Несмотря на универсальность этих методов, специфика алгоритмов сжа- 
тия требует их уточнения и модернизации. Это еще раз подтверждает, что алгоритмы 
сжатия данных относятся к одному из классических классов алгоритмов, изучение и 
совершенствование которых обогащает методологию и средства поддержки алгорит- 
мизации. 

Предложенный метод основывается на понятии метаалгоритма и поддерживает- 
ся разработанными программными средствами [4]. 

Метаалгоритм -— это специальным образом заданный алгоритм, на основе кото- 
рого могут быть построены конкретные алгоритмы, обобщенный алгоритм решения 
некоторой задачи. 

Метаалгоритм строится на основе модифицированного метода пошаговой дета- 
лизации: на первом шаге программа записывается с помощью абстрактных операто- 
ров (АО) или предикатов первого уровня и инструкций языка программирования; на 
втором шаге АО первого уровня записываются (реализуются) с помощью АО второго 
уровня и инструкций языка программирования и т.д., пока вся программа не будет за- 
писана с помощью инструкций языка программирования. Модификация метода заклю- 
чается в том, что абстрактные операторы могут иметь несколько реализаций. 

Адаптация алгоритмов осуществляется путем направленного синтеза конкретных 
алгоритмов. 

Синтез конкретных алгоритмов заключается в его пошаговом формировании. На- 
чиная с корневого, АО заменяются их реализациями. Выбор конкретных реализаций 
из числа альтернативных осуществляется на основе рекомендаций подсистемы анализа. 
Для каждого синтезированного алгоритма хранится его структура, а измерительная 
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система в процессе выполнения алгоритма запоминает в базу знаний значения целе- 
вого показателя эффективности алгоритма такой структуры. 

В результате анализа накопленной информации формируются рекомендации син- 
тезатору алгоритмов: какие реализации АО предпочтительнее, что представляется в 
виде рекомендуемых вероятностей применения конкретных реализаций АО. 

Целью данной работы является разработка модификации метода структурной 
адаптации алгоритмов с учетом специфических особенностей алгоритмов сжатия. 


Особенности структурной адаптации алгоритмов сжатия 


Будем обозначать А |’ — алгоритм с областью определения Х и областью зна- 


ии 


чения У. Определим операцию композиции алгоритмов 


У, у 
х, непосредственно после А, |. 


как их последовательное 


выполнение [5]. Результатом выполнения алгоритма А, 


М 
есть алгоритм А |х = А, Е .А, Е (краткая форма записи ПА р. ). Для алгоритмов сжа- 
151 


тия обязательно наличие обратного алгоритма, такого, что: 
у Хор 
А, -А ь=Еф, (1) 


где Е | — единичный алгоритм, реализующий функцию у=х. 

Алгоритмы сжатия могут состоять из последовательности преобразований, сочетая 
один или несколько предварительных проходов или повторно применяя алгоритм к уже 
сжатым данным: 


м 
А =] 4, ре М =Х, Х, =У4,1=2...М. (2) 


1 


Разархивация должна выполняться в обратном порядке: 


М 
А $ = Па р О. (3) 
11 

Исходя из (2) и (3) предложена методика формирования двух взаимообратных 
метаалгоритмов. Любой абстрактный оператор (алгоритм) метаалгоритма сжатия дан- 
ных должен иметь обратный. 

При синтезе конкретных алгоритмов архивации одновременно должен синтези- 
роваться алгоритм разархивации как обратная последовательность обратных алгоритмов. 

Для многих алгоритмов, в частности для рассматриваемых ранее алгоритмов 
сортировки [3], степень эффективности АО практически не зависела от места и спо- 
соба его применения. Для алгоритмов сжатия данных это положение существенно 


у, У, 
другое. Эффективность алгоритма А, |х -А, |, может существенно отличаться от эф- 
У, У, 
фективности алгоритма А, | х, `4 | | 


Это предусматривает модификацию и методов, и средств анализа, а также измери- 
тельной системы. 

Функциональность измерительной системы расширена таким образом, что раз- 
мер сжатого файла измеряется и заносится в базу данных после каждого выполнения 
реализации АО, способной изменить текущий размер сжатого файла. Назовем такую 
реализацию сжимающей реализацией АО (СР АО). 
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База данных расширена следующим образом. Для каждой СР АО строится век- 
тор, в котором для каждой СР АО, следующей после данной СР АО, определяется 
значение текущей степени сжатия архивируемого файла. 

Система анализа, согласно методике [4], определяет рекомендуемую вероятность 
использования. Для каждой СР АО аналогичным образом определяется рекомендуе- 
мая вероятность его использования после других СР АО. 

Система синтеза первую СР АО выбирает на общих основаниях (как в [4]), а 
последующие - на основании рекомендуемой вероятности следования после преды- 
дущей СР АО. 


Метаалгоритм сжатия данных 


С использованием модифицированного метода пошаговой детализации [3] на ос- 
нове известных алгоритмов [6] разработан метаалгоритм сжатия данных. Порядок дета- 


лизации приведен на рис. 1. 


0 уровень 


52 


3 уровень 
4 уровень 


Рисунок 1 — Порядок формирования метаалгоритма сжатия данных 


Каждой детализации в представленном дереве соответствует абстрактный опе- 


у 
и 


ратор — 5, или реализация абстрактного оператора В, 
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М; 
На нулевом уровне имеем один АО 5, ы (<0,1,0>) — <сжатие>, где М -— массив до 


> М; 
сжатия, Му — массив после сжатия, который имеет одну реализацию В (<<0,1,1>>). 
Мо 
Реализация включает четыре АО (4) 5,|, (<1,1,0>) — <предварительная обработка>, 


53 


_ (<1,2,0>) — <универсальная обработка>, 5, 


М; > 
и (<1,3,0>) — <конкретный метод 


М; 
сжатия>, 5. в (<1,4,0>) — <сжать данные>. 


М 
= В, 


М 


* 


5. 


Мо: 
Мо 


М 


М; Мо Мя 
м = 5 м -53 Мо 5. мя ? (4) 


-9 


| М М; 
где 5, ы (<<0,1,*>>) — выбранная синтезатором реализация ОЕ ‚ М5, и Мо, - обра- 


Мо 
ботанные массивы соответствующими алгоритмами. АО 5, т имеет две реализации 


(5): В. 


Мо 
м 


(<<1,1,1>>) — предварительная обработка агсОейа2 [6] и В] (<<1,1,2>>), 


Мо Мо 
а 5, в имеет три альтернативных реализации (6), В. |, 


(<<1,2,1>>) — предваритель- 
Мо 
М 


ная обработка агсВазеб4 [7], В, 


(<<1,2,2>>) — предварительная обработка ВГЕ [8, 
с. 289] и В, |" (<<1.2,3>>). Реализация В.| = Е. 


Мо а 
Мо В. ‚ ели) < р<р,, 


и = м (5) 
В если р, < Р<1 (рр +р;.=1). 
В если 0 < р<р,, 
*| Мо Мо 25 
5 а Вы ‚ если р, <р<р., (6) 


Мо 


и если р; + р. <Р<1, (р-р. р; =П. 


где р - случайное число, р, — рекомендуемая вероятность выбора 1-й альтернативы. 


В 


АО 5 о имеет пять реализаций (7): Ву _ (<<1,3,1>>), В. 


(<<1,3,3>>), В.|\, (<<1,3,4>>), Вь 


ного массива следующими методами сжатия данных соответственно: сжатие методом 
агсОеЙае [8, с. 94], сжатие методом агсВ7лр, сжатие методом агсГ./МА, [38, с. 90], 
сжатие методом О7лр, сжатие методом «Арифметическое кодирование» [8, с. 35] (7). 


и (<<1,3,2>>), В, 


М; 
м 


М; 
и (<<1.2,5>>) (9), которые выполняют сжатие вход- 


24 м: 
АО 5; | имеет две реализации (8): В\, — (<<1,4,1>>) — сжать любым методом, 
М: 
и В, г (<<1,4,2>>) — сохранение данных. 
М 2. 
ВЫ ‚ ели О<р<р,, 
5" М № 8 9 г 
Чм — Ву м ›если У р <Р<Ур, (7) 
1=6 1=6 
Ма,МГ,5 Ме № э р 10 ыы 
5 а -бю|и.› ®СЛИ УР <р<1, (>) Е 


1=6 1=6 
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м И если О<р<р., - 
= в _ (8) 
Ви» если ри <Р<Ь (ри+рь =1. 


В свою очередь реализация «сохранение данных» состоит из абстрактного опе- 
7 
М 


ы Л 
ратора АО 5, р (<2,4,0>) — сохранение данных, который реализован Вам. я (<=2, 


4,1>>), где М - это массив для сохранения в файл с именем /й.АО 5, |1, (<2,5,0>) — 
запись в базу данных информации для анализа ( Г): 
* | М; М; 

57 = аи 5) 55 : (9) 


ма,му, ма, Му, 


АО 5, |, и 


нове входного массива М формирует массив символов А, которые встречаются во 
входном массиве, и массив накапливаемых частот символов В размером $5. 


(<2,6,0>) имеет реализацию В; (<<2,6,1>>), которая на ос- 


* Ма, МХ,5 ма,МГ ма МЬ,Ма,МХ ма,МУ 
5% 5? и “ЗВ бы мт: (10) 
(@ Мс 
Реализация АО <кодирование> 55 а (<2,7,0>) — В; и (<<2,7,1>>) Ма - 


массив символов, которые встречаются в данных для кодирования, МХ — массив 
накапливаемых частот символов, 5 — количество разных символов в массиве для коди- 


МЬ МЬ 
рования, и на выходе дает массив кодов Мс. АО 55 ры (<2,8,0>), 51 | (<2,13,0>) реа- 
МЬ МЫ 
лизуют алгоритмы Вы (<<2,8,1>>) и В, ей (<<2,13,1>>) соответственно, которые из 
символьного массива кодов Мс формируют массив байтов МЬ. 


М Ма М; 


м 
= В М Ма, Му 95. Е: (11) 


Ма, МЬ 
Ма, МЬ 


* 


о 


Мс 


Ма, МЬ 


Ма, МЬ (<<3,9,1>>), которая обнуляет все 


АО 5 


(<3,9,0>) имеет реализацию В; 


Ма 
М 


Ма 
элементы входных массивов Ма и МЬ; АО В (<3,10,0>) и его реализация В, 
(<<3,10,1>>) подсчитывает частоту символов во входном массиве М и записывает 


МЬ, Ма, МЕ 
> ' (<3,11,0>) имеет реализацию В. ты (<<3,11,1>>), 


которая выполняет подсчет накапливаемых частот символов входного массива и 
сохраняет их в массив МЬ; Ма - массив частот всех символов, МА - массив симво- 
лов, встреченных во входном массиве, МГ -— массив накапливаемых частот символов 


ее в массив Ма. АО 5.3 


Ма, МЬ Ма,МЬ 

из входного массива. АО 5 ма мь (<3512,0>) — <сортировка двух массивов>, 5. | а 
Ма, МЬ 

(<4,12,0>) — <метод сортировки> имеют реализации В» | ел СЕ СОрТИь 


Ма, МЬ 


м (<<4,12,1>>) — «быстрая» сортировка массивов соответст- 


ровка массива, В». 


венно. Указанные реализации на вход принимают два массива Маи МЬ и сортируют 
МЬ МЫ 
их. В АО И (<3,14,0>) — <копирование элементов массива>, и алгоритме В.; |, 


(<<3,14,1>>), который его реализует, элементы входного массива Ма копируются в 
новый массив МЬ. 
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Апробация метода структурной адаптации алгоритмов 


Апробация метода структурной адаптации алгоритмов выполнена при решении 
практической задачи организации хранения значительных объемов информации со 
скоростемерных лент локомотивов. 

При движении поезда на скоростемерную ленту записывается информация об уп- 
равлении локомотивом: время, скорость движения, состояние семафоров и др. 

Разработанный программно-аппаратный комплекс расшифровки скоростемерных 
лент [9] выполняет сканирование ленты, предварительную обработку изображения, 
распознавание и идентификацию кривых, а также выявляет нарушения управления 
поездом. 

Выделенные кривые (рис. 2) носят достаточно специфический характер. Для от- 
дельных кривых характерны определенная регулярность, или скачкообразный характер, 
или значительные случайные возмущения. 


Необходимо было разработать форматы данных, позволяющие за приемлемое время 
отображать и масштабировать кривые с возможностью совместного отображения со 
сканированным изображением. Также требовалось найти эффективные методы сжа- 
тия для хранения в базах данных информации для дальнейшего анализа. 

Специфический характер кривых позволяет предположить, что специализирован- 
ные или адаптированные алгоритмы будут более эффективными, чем универсальные. 


Оценка функциональной эффективности 
адаптированного алгоритма 


Выполнена оценка функциональной эффективности [10] адаптированного алго- 
ритма к модельным данным распознанных линий скоростемерных лент. 

Функциональная эффективность определялась средствами исследовательского 
комплекса программ КезСоттр [10]. 

Адаптированный алгоритм с доступными архиваторами. Они перечислены ни- 
же с указанием разработчиков, версии, года выпуска и параметров командной строки 
для запуска архиваторов: 

— Ваг 3.71, Аехапдег Возва1, 2007, “а -п15 Ъ6Б аП” 
— На 0999с, Нату Ниуо(а, 1995, “а2 ББ аП\*.*”; 
— Аг 3.14а, АВ] Зой\аге, 2006, “а -лп '+ ' 6ББ а”; 
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— 7 2 4.58 Бе, [еог Ра\у, 2008, “а -#72 ББ аП -тх9”; 

— В71р2 1.0.4, лап Зе\ууага, 2006, “--БезЕ -К аП\*.*”; 

— А лр 7.0 Баа1, ЕЗТЗой сотр, 2007, ”-а -п0 аП 66Ъ.а17”; 

— ВК 1.04.1 арБа, Масо|п Тауог, 2000, “-с БЫБ.тК @ссс2.1хг’; 

— Таг 1.12, “-с -К -7 --Мез-Яотессс1 6х --Ме=ЬЬб.(аг”; 

— Пир 1.12, Тесвпеузтат Ру Е4., 2000, “а -п13 Ъ6Ъ.пир аП\*.*”; 
— Лаг 1.02, АВ] бой\аге, 1997, “а -п4 Ъ6Ъ.}аг аП\*.*”; 

— РКИРС(В)_ 4.00, РКУУАВЕ 1шс., 2000, “-аа4 БЪЪ.71р аП\*.*”. 

Здесь “БЫ” — имя архива, “ссс” — имя файла со списком файлов, подлежащих архи- 
вации, “а! — имя папки с исходными файлами. 

Параметры архиваторов фиксированы и выбраны согласно рекомендациям раз- 
работчиков такими, что предполагают наилучшую степень сжатия. Функциональная 
эффективность алгоритмов определялась при сжатии файлов из банка данных из 
840 файлов с минимальным и максимальным размером 40/1000 Кбайт и общим 


объемом 367,2 Мб. 


Определялась 5(А,, А,) |х — степень превосходства одного (1-го) алгоритма над дру- 


гим (7-м) на ограниченном множестве Х [11]: 
1 У: р(А, |. )- 24 |.) 
М сх хеЕХ тах(р(А, р р (А, р )) 


5(А,А,) |«= 


100%. 


(10) 


Вычисленные значения показателей и доверительные интервалы (уровень доверия 
0,05) приведены в табл. 1. В табл.1 А...А, — алгоритмы архиваторов, перечисленных 


выше, А, — адаптированный алгоритм. 


Отметим, что из существующих архиваторов наиболее эффективно выполняют 
сжатие специфичных данных записи скоростемерных лент Вах 3.71 и 7_7р 4.58 аа, 


причем первый из них незначительно лучше. 


Структурно-адаптированный алгоритм показал существенно более высокую эф- 


фективность по сравнению с универсальными архиваторами. 


Таблица 1 — Степень превосходства 1-го алгоритма над ]-м 

. А, А, А, А, А, Ав А; А} А, Ар А 1 А, 

А 0.0 | 50.45% | 40а | 49552 | 475о |473 | 50,645 | 47,9*рз | 46,9*15 | 45,6133 | 47,8 *152 | - 75899 
А, |-50,41.45| 0.0 |-16*5в | 49.05 |-150°%5з | 5,6°05| 0,4°олв | 5,01 |-&2°573з|-ПЬ7ч | - 5,5*влл | - 85,46 
д [9 | 1583 [00 [чая | 9598 [47-203 [347 | -66} [ле |- 39314502 
А, | -49°5 | 49.01» | 478% | 0.0 | 45,6555 |46.0°и | 49,3155 | 46,5°5ь | 45.45 | 44,0555 | 46 | - ЗА 
А; |- 47,5 | 1.0'оз | 9,5'057 | -45,6%55 | 0.0 | 60° 1453 | 67‘ | Зов | 05207 | 6.2°05 |847 
4% |-47,3.5 | 564 | 415 |460 | -6045 | 0.0 |-6.0 | 07 | -275 |-бА-иь | - ОЗ» | -845 4 
А, |-50,6*1з | - 0,4*%% | 2,0*5з |- 49,3195 |-114*озв| 6,0%» | 0.0 |-5,4'х | -8,5'взе |124 | - 5,9°вли | 85.44 
А; |-47,9°52 | 50° | ЗАЧ | -46,5°е | бя |- 074 Зи | 0.0 |-3345 |-7.0ч | ув | 84.694 
А |-46,5918 | з257, | 669 |-45.4% | -З80е | 25 | ®54ж | 3345 | 0.0 |-40%и| 2894 | -в4 Ач 
Ар |-45,6'33 | ТБ | 10 |--44,0°573| -02'л | б.Алию | газ | 7,0% | 40% | 0.0 | 6,6%а | -84,0ча 
А, |-47,8°.5 | 5,5°5т | 39°5л5 |-46Ат | 6.24 | Гу» | 5957 | 05и |-28'54 |-6,641| 0.0 |-84.6° 
А | лакей |аздня [аз [| оздыи- | вал [воза | аз [зб [зад [вара [84.6141 | 0.0 


110 «Искусственный интеллект» 42009 


Структурная адаптация алгоритмов сжатия данных... 


2Ш 


Выводы 


В работе представлен модифицированный метод структурной адаптации алго- 
ритмов на метаалгоритмической основе. Его основная особенность заключается в 
одновременной адаптации прямого и обратного алгоритма. Это свойственно алгорит- 
мам сжатия данных (архивация/разархивация), кодирования и некоторым другим. 

Вторая особенность заключается в том, что при адаптации учитывается не 
только эффективность синтезированных алгоритмов, но и промежуточных преобра- 
зований. Таким образом расширяется база знаний о синтезированных алгоритмах, что 
обеспечивает большие возможности анализа алгоритмов и в конечном итоге ускоряет 
процесс адаптации и улучшает результаты. 

Выполненная апробация при решении задачи организации хранения значитель- 
ных объемов информации со скоростемерных лент локомотивов показала хорошую 
результативность метода и соответствующих программных средств. 

Согласно методике [7] выполнена оценка функциональной эффективности адап- 
тированного алгоритма к модельным данным распознанных линий скоростемерных 
лент. Отмечается высокая степень превосходства адаптированного алгоритма по от- 
ношению к известным архиваторам. Это объясняется повышенной эффективностью 
специализированного алгоритма, полученного в результате адаптации над универсаль- 
ными. Исследования могут быть продолжены для алгоритмов сжатия данных с потерями. 
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ВА. Шинкаренко, Г.Г. Кроль, Е.Г. Васецький, Т.М. Мажара 

Структурна адаптащя алгоритм в стискання даних на метаалгоритмчнй основ! 

Запропоновано модифткований метод структурно! адаптацй алгоритмв на метаалгоритмачнй основ1. 
Особлив1сть методу полягае у тому, що шд час адаптаций одночасно синтезуеться два взаемообернених 
алгоритми. Вирипена задача ефективно! архвацй розшзнаних лий швидкостемрних стр!чок локомотив. 
Виконана ошнка функщюнально! ефективност! структурно-адаптованих алгоритм!в стиснення даних. 


Статья поступила в редакцию 22.06.2009. 
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